前言

前幾天學習資料視覺化，今天來開始學爬蟲吧！

介紹網路爬蟲
網路爬蟲(Web crawler），也可以稱作網路蜘蛛(Web spider)，用於瀏覽網路並收集網頁上的資訊。爬蟲通常是用來搜索、提取、儲存和組織網頁資料的工具。這些收集到的資料包括文字、圖片、連結、數據表、文件等，例如數據分析、搜索引擎索引、新聞、自動化測試等。

爬蟲造訪流程
·選擇起始網頁：爬蟲需要知道從哪個網頁開始。這個起始點可以是特定的URL，也可以是多個URL的列表。
·發送HTTP請求：爬蟲向選定的起始URL發送HTTP GET請求。
·接收HTTP響應：網站伺服器接收到請求後，會返回一個HTTP響應。該響應包含網頁的HTML代碼，也可能的其他資源，如圖片、CSS文件等。
·解析HTML：爬蟲使用解析庫來解析HTML代碼。這個步驟是為了提取所需要的數據。
·處理數據：解析HTML之後，爬蟲可以處理和儲存提取到的數據。
·過濾：爬蟲通常會過濾掉不需要的數據，並且確保不重複獲取相同的頁面。有助於提高效率和節省資源。
·停止設置：爬蟲可以設置停止條件，確保它不會無限制地繼續運行。
·定期更新：一些爬蟲程序被設計為定期運行，保持收集到的數據為最新狀態。
·錯誤處理：爬蟲可以處理可能出現的錯誤，例如網路錯誤、頁面不存在等情況。
·儲存數據：最後，爬蟲可能會將所收集到的數據進行整理和儲存，以供後續分析。

爬蟲的應用範圍舉例
·搜索引擎索引：搜索引擎使用爬蟲來瀏覽網絡上的網頁並建立索引，以便用戶可以通過搜索查詢想獲得的資訊。
·收集新聞資料：新聞聚合網站自動收集和顯示來自多個新聞網站的新聞報導。
·社交媒體分析：爬蟲可以用於監測社交媒體上的趨勢，分析用戶行為和情感數據。
·學術研究：研究人員可以使用爬蟲來收集網路上的學術文獻、論文、文章和數據，以利於進行研究和分析。
·廣告分析：廣告公司可以使用爬蟲來監測在互聯網上的廣告活動，以評估廣告效果和市場趨勢。
·政府監管：政府機構可以使用爬蟲來監管網路上的資訊。

注意：爬蟲應該以合法且尊重網站使用條款和隱私政策的方式運行。未經許可的爬蟲活動可能會有法律問題或網站遭受損害喔！

今天就介紹到這邊吧！

目前進度：18/30···